Từ 10/1983 - 8/1987: Cán bộ Phòng Tài chính - Giá cả huyện Hoàng Su Phì, tỉnh Hà Tuyên.

Từ tháng 9/1987 - tháng 7/1991: Sinh viên Trường Đại học Tài chính Kế toán Hà Nội.

Từ tháng 8/1991 - 9/1991: Cán bộ Phòng Quản lý Ngân sách Văn xã - Sở Tài chính vật giá tỉnh Hà Tuyên.

Từ tháng 10/1991 - 10/1992: Tổ trưởng Tổ Kế hoạch Ngân sách văn xã - Sở Tài chính - Vật giá tỉnh Hà Giang.

Từ tháng 11/1992 - 10/1995: Phó phòng (phụ trách) Phòng Quản lý Ngân sách Văn xã - Sở Tài chính Hà Giang.

Từ tháng 11/1995 - 9/1997: Trưởng phòng Quản lý Ngân sách - Sở Tài chính tỉnh Hà Giang.

Từ tháng 10/1997 - 8/1998: Phó Giám đốc - Ủy viên Ban Cán sự Đảng, Bí thư Chi bộ Sở Tài chính Hà Giang.

Từ tháng 10/1997 - 8/1998: Phó Giám đốc - Ủy viên Ban Cán sự Đảng, Bí thư Chi bộ Sở Tài chính Hà Giang.

Từ tháng 9/1998 - 7/2000: Học viên Học viện Chính trị Quốc gia Hồ Chí Minh.

Từ tháng 8/2000 - 9/2000: Phó Giám đốc - Ủy viên Ban Cán sự Đảng, Bí thư Đảng ủy Sở Tài chính Hà Giang.

Từ tháng 10/2000 - 3/2004: Ủy viên Ban Chấp hành Đảng bộ tỉnh - nhiệm kỳ 2000-2005, Bí thư Đảng ủy - Giám đốc Sở Tài chính Hà Giang.

Từ tháng 4/2004 - 11/2009: Ủy viên Ban Chấp hành Đảng bộ tỉnh - nhiệm kỳ 2005-2010, Bí thư Huyện ủy Bắc Quang.

Từ tháng 12/2009 - 10/2010: Ủy viên Ban Chấp hành Đảng bộ tỉnh - nhiệm kỳ 2005-2010, Ủy viên Ban Cán sự Đảng - Phó Chủ tịch Ủy ban nhân dân tỉnh.

Từ tháng 10/2010 - 10/2015: Ủy viên Ban Thường vụ Tỉnh ủy, Phó Bí thư Ban Cán sự Đảng, Phó Chủ tịch Thường trực Ủy ban nhân dân tỉnh.

Tại kỳ họp thứ 16, Hội đồng nhân dân tỉnh Hà Giang khóa XVI, nhiệm kỳ 2011 - 2016, họp từ ngày 8-10/12/2015, Nguyễn Văn Sơn được bầu giữ chức vụ Chủ tịch Ủy ban nhân dân tỉnh Hà Giang.[4][5]

Ngày 29/6/2016, tại kỳ họp thứ nhất, Hội đồng nhân dân tỉnh Hà Giang đã bầu Nguyễn Văn Sơn tiếp tục giữ chức vụ Chủ tịch Ủy ban nhân dân tỉnh Hà Giang khóa XVII, nhiệm kỳ 2016-2021.[6]